Breast cancer is one of the common cancers that endanger the health of women globally. Accurate target lesion segmentation is essential for early clinical intervention and postoperative follow-up. Recently, many convolutional neural networks (CNNs) have been proposed to segment breast tumors from ultrasound images. However, the complex ultrasound pattern and the variable tumor shape and size bring challenges to the accurate segmentation of the breast lesion. Motivated by the selective kernel convolution, we introduce an enhanced selective kernel convolution for breast tumor segmentation, which integrates multiple feature map region representations and adaptively recalibrates the weights of these feature map regions from the channel and spatial dimensions. This region recalibration strategy enables the network to focus more on high-contributing region features and mitigate the perturbation of less useful regions. Finally, the enhanced selective kernel convolution is integrated into U-net with deep supervision constraints to adaptively capture the robust representation of breast tumors. Extensive experiments with twelve state-of-the-art deep learning segmentation methods on three public breast ultrasound datasets demonstrate that our method has a more competitive segmentation performance in breast ultrasound images.
translated by 谷歌翻译
本文提出了一种轻巧,有效的校准神经网络模型,用于降低低成本微电力系统(MEMS)陀螺仪,并实时估算机器人的态度。关键思想是从惯性测量单元(IMU)测量的时间窗口中提取本地和全局特征,以动态地回归陀螺仪的输出补偿组件。遵循精心推导的数学校准模型,LGC-NET利用深度可分离的卷积捕获截面特征并减少网络模型参数。较大的内核注意力旨在更好地学习远程依赖性和特征表示。在EUROC和TUM-VI数据集中评估了所提出的算法,并在具有更轻巧模型结构的(看不见的)测试序列上实现了最先进的测试。尽管它不采用视觉传感器,但与我们的LGC-NET的估计取向与排名最高的视觉惯性探针系统相当。我们在:https://github.com/huazai665/lgc-net上进行开源方法
translated by 谷歌翻译
最近,基于得分的扩散模型在MRI重建中表现出令人满意的性能。这些方法中的大多数都需要大量完全采样的MRI数据作为培训集,有时在实践中很难获得。本文提出了用于MRI重建的完全采样的基于无DATA的分数扩散模型,该模型以不足的采样数据以自我监督的方式学习了完全采样的MR图像。具体而言,我们首先通过贝叶斯深度学习从未采样的数据中推断出完全采样的MR图像分布,然后通过训练分数函数来扰动数据分布并近似其概率密度梯度。利用学到的分数函数为先验,我们可以通过执行条件的Langevin Markov链蒙特卡洛(MCMC)采样来重建MR图像。公共数据集的实验表明,所提出的方法优于现有的自我监督的MRI重建方法,并与常规(完全采样的数据训练)基于得分的扩散方法实现可比性的性能。
translated by 谷歌翻译
大多数当前的多模式摘要方法遵循级联的方式,在该方式中,首先使用现成的对象检测器来提取视觉特征,然后将这些功能与语言表示融合在一起,以使用编码器模型生成摘要。级联的方式无法捕获图像和段落之间的语义一致性,这对于确切的摘要至关重要。在本文中,我们向vil-sum提出了段落级级\ textbf {vi} sion- \ textbf {l} arnguage语义对齐和多模式\ textbf {sum} marization。 VIL-SUM的核心是一个联合多模式编码器,具有两个精心设计的任务,图像重新排序和图像选择。联合多模式编码器捕获了模式之间的交互,重新排序任务指导该模型学习段落级别的语义对齐,而选择任务指导模型在最终摘要中将模型指向所选摘要相关的图像。实验结果表明,我们提出的VIL-SUM显着优于当前最新方法。在进一步的分析中,我们发现两个精心设计的任务和联合多模式编码器可以有效地指导模型学习合理的段落图像和摘要图像关系。
translated by 谷歌翻译
最近,未经训练的神经网络(UNNS)显示了在随机采样轨迹上对MR图像重建的令人满意的性能,而无需使用其他全面采样训练数据。但是,现有的基于UNN的方法并未完全使用MR图像物理先验,导致某些常见情况(例如部分傅立叶,常规采样等)的性能差,并且缺乏重建准确性的理论保证。为了弥合这一差距,我们使用特殊设计的UNN提出了一种保障的K空间插值方法,该方法使用特殊设计的UNN,该方法由MR图像的三个物理先验(或K空间数据)驱动,包括稀疏,线圈灵敏度平稳性和相位平滑度。我们还证明,所提出的方法保证了插值K空间数据准确性的紧密界限。最后,消融实验表明,所提出的方法比现有传统方法更准确地表征了MR图像的物理先验。此外,在一系列常用的采样轨迹下,实验还表明,所提出的方法始终优于传统的平行成像方法和现有的UNN,甚至超过了最先进的监督训练的K空间深度学习方法案例。
translated by 谷歌翻译
降解扩散概率模型(DDPM)已显示在MRI重建中具有出色的性能。从连续的随机微分方程(SDE)的角度来看,DDPM的反向过程可被视为最大化重建的MR图像的能量,从而导致SDE序列发散。因此,提出了用于MRI重建的修改高频DDPM模型。从其连续的SDE观点(称为高频空间SDE)(HFS-SDE),MR图像的能量浓缩低频部分不再得到放大,并且扩散过程更多地集中在获取高频的先验信息上。它不仅提高了扩散模型的稳定性,而且还提供了更好地恢复高频细节的可能性。公开FastMRI数据集的实验表明,我们提出的HFS-SDE优于DDPM驱动的VP-SDE,有监督的深度学习方法和传统的平行成像方法,就稳定性和重建精度而言。
translated by 谷歌翻译
真实世界的文本应用程序通常涉及组成广泛的文本控制操作,例如编辑文本W.R.T.属性,操纵关键字和结构,并生成所需属性的新文本。事先的工作通常会学习/芬太尼语言模型(LM)以执行操作的个人或特定子集。最近的研究以插件方式研究了合并操作,通常在复杂序列空间中以昂贵的搜索或优化进行了研究。本文提出了一种新的有效方法,用于在紧凑的文本潜在空间中进行可复合的文本操作。文本潜在矢量的低维度和不同性使我们能够基于给定的任意插入运算符(例如属性分类器)基于普通微分方程(ODE)开发有效的采样器。通过通过有效的适应性将预告片的LMS(例如GPT2)连接到潜在空间,然后我们将采样向量解码为所需的文本序列。灵活的方法允许使用来自不同域中的任何相关数据获取的各种控制操作员(情感,时态,形式,关键字等)。实验表明,在我们的方法中构成这些操作员可以生成或编辑高质量文本,从而在发电质量和效率方面显着改善了以前的方法。
translated by 谷歌翻译
超声检查是乳腺癌诊断的重要常规检查,这是由于其无创,无辐射和低成本的特性。但是,由于其固有的局限性,乳腺癌的诊断准确性仍然受到限制。如果我们可以通过乳房超声图像(BUS)精确诊断乳腺癌,那将是一个巨大的成功。已经提出了许多基于学习的计算机辅助诊断方法来实现乳腺癌诊断/病变分类。但是,其中大多数需要预定的ROI,然后对ROI内的病变进行分类。常规的分类骨架,例如VGG16和RESNET50,可以在没有ROI要求的情况下获得有希望的分类结果。但是这些模型缺乏解释性,因此限制了它们在临床实践中的使用。在这项研究中,我们提出了一种具有可解释特征表示的超声图像中乳腺癌诊断的新型无ROI模型。我们利用解剖学的先验知识,即恶性肿瘤和良性肿瘤在不同的组织层之间具有不同的空间关系,并提出了悬停转换器来提出这种先验知识。提出的悬停式跨界块水平和垂直地提取层间和层内空间信息。我们进行并释放一个开放的数据集GDPH&SYSUCC,以用于公共汽车中的乳腺癌诊断。通过与四个基于CNN的模型和两个Vision Transformer模型进行比较,通过五倍的交叉验证来评估所提出的模型。它通过最佳模型可解释性实现最新的分类性能。同时,我们提出的模型在仅给出一张公交图像时,在乳腺癌诊断方面优于两名高级超声检查员。
translated by 谷歌翻译
由低级别正则化驱动的深度学习方法在动态磁共振(MR)成像中实现了有吸引力的性能。但是,这些方法中的大多数代表了手工制作的核标准的低级别先验,该规范无法通过固定的正则化参数准确地近似整个数据集的低排名先验。在本文中,我们提出了一种学习动态MR成像的低级方法。特别是,我们将部分可分离(PS)模型的半季度分裂方法(HQS)算法传输到网络中,其中低级别以可学习的空空间变换自适应地表征。心脏CINE数据集的实验表明,所提出的模型的表现优于最新的压缩传感(CS)方法和现有的深度学习方法,既有定量和质量上的深度学习方法。
translated by 谷歌翻译
Mapping the connectome of the human brain using structural or functional connectivity has become one of the most pervasive paradigms for neuroimaging analysis. Recently, Graph Neural Networks (GNNs) motivated from geometric deep learning have attracted broad interest due to their established power for modeling complex networked data. Despite their superior performance in many fields, there has not yet been a systematic study of how to design effective GNNs for brain network analysis. To bridge this gap, we present BrainGB, a benchmark for brain network analysis with GNNs. BrainGB standardizes the process by (1) summarizing brain network construction pipelines for both functional and structural neuroimaging modalities and (2) modularizing the implementation of GNN designs. We conduct extensive experiments on datasets across cohorts and modalities and recommend a set of general recipes for effective GNN designs on brain networks. To support open and reproducible research on GNN-based brain network analysis, we host the BrainGB website at https://braingb.us with models, tutorials, examples, as well as an out-of-box Python package. We hope that this work will provide useful empirical evidence and offer insights for future research in this novel and promising direction.
translated by 谷歌翻译